Son sinh ra và lớn lên trong một khu phố người Hàn Quốc nghèo khổ ở Tosu, một vùng nông thôn xa xôi nằm ở phía Tây Nam nước Nhật, bản thân ông là công dân thế hệ thứ 3 của cộng đồng người Hàn – Triều Tiên tại Nhật (ông bà nội-ngoại và cả gia đình của Son thuộc thế hệ những người Hàn Quốc bị buộc phải di cư đến Nhật Bản dưới chế độ quân phiệt của Tổng thống, nhà độc tài Park Chung Hee)[12]. Cha ông chăn nuôi heo và bán rượu lậu trước khi bắt đầu thử sức mình ở lĩnh vực kinh doanh nhà hàng, bất động sản và các tiệm chơi máy giật xèng (đánh bạc).[13]

Khi còn là một cậu bé, Son đã hằng ngày phải cùng cha mình và bà nội đi lượm thức ăn thừa ở thùng rác nhà hàng xóm để về cho heo ăn. Khi đó, Son ngồi trên đống thức ăn thừa chở bằng chiếc xe kéo bằng tay. "Chúng nhầy nhụa và rất kinh khủng. Tất cả mọi người trong gia đình đã phải làm việc rất cực khổ", Son nhớ lại.[14][15]

Từ nhỏ, Son đã sớm xây dựng một niềm tin vững vàng vào năng lực của mình mà sau này ông đã khai thác triệt để trong kinh doanh. Điều này càng được củng cố nhờ sự động viên và niềm tin của cha ông rằng một ngày nào đó Son sẽ là nhân vật có quyền lực và tầm ảnh hưởng số 1 tại Nhật. "Tôi bắt đầu nghĩ rằng mình không nên hài lòng với việc làm một con người bình thường và rằng tôi là một thiên tài", ông nói.[16]